在水声通信中，信道的多径效应会造成严重的码间串扰（ISI），而现有的均衡算法在处理ISI问题时存在收敛速度慢、稳态误差大、算法复杂不易于硬件移植等问题，为此结合判决反馈均衡器结构前向均衡（FFE）与判决均衡结构（DFE），提出了一种基于反余弦步长函数和三参数调整因子的变步长最小均方（LMS）算法。首先对三参数因子 α、β、r进行算法仿真，优化算法性能，与固定步长LMS算法、基于修正反正切的变步长LMS算法以及基于双曲正割函数的变步长LMS算法的收敛性能和稳态误差进行仿真比较，结果显示：所提算法的收敛速度较固定步长LMS算法提高了57.9%，稳态误差下降5 dB；较双曲正割LMS算法和修正反正切LMS算法提高了26.3%和15.8%，并且算法的稳态误差下降了1~2 dB。最后，将算法移植于信号处理模块，进行水下实验，结果表明，水声信道造成的ISI经过均衡器后，信号得以恢复，能够实际克服多径效应造成的水声信道ISI问题。